Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment
通过平滑 MMD 对齐增强大语言模型的数值预测
🧭 LLM 数值预测 · 分布对齐训练损失
College of Computer Science, Sichuan University, Chengdu, China · Dongfang Electric (Chengdu) Academy of Science and Technology Co., Ltd., Chengdu, China · Institute of Medical Information & Library, CAMS & PUMC, Beijing, China
提出 SMMD 损失，用数值距离核与图平滑将对齐预测分布，一致提升 LLM 数值精度
📌 工作参考价值（4 点）
- 数值敏感推荐场景损失替代：在需精确数值的任务（如价格预估、销量预测、广告出价、用户评分）中，可将标准交叉熵替换为 SMMD，将输出视为连续分布对齐而非离散 token 分类，减少“数字错位”错误。
- 数值子词表与距离核设计：显式划分数值 token 子词表，构造基于值距离的 RBF 核，将 token 概率分布映射到数值空间进行 MMD 匹配。电商搜索排序中的分数校准、点击率预估等场景可直接复用此核构建策略。
- 局部平滑正则引入：利用核图在相邻数值间施加输出残差平滑约束，抑制跳变预测。推荐系统中用户偏好分数、物品特征值等的生成，可借鉴该平滑项提升预测一致性与鲁棒性。
- 即插即用训练组件：SMMD 仅修改损失项，不改变模型结构，可轻量集成到现有 LLM fine-tune 流程中，尤其适合需要数值输出的 Agent 决策（如动态定价、预算分配）。